预先训练的上下文化文本表示模型学习自然语言的有效表示，以使IT机器可以理解。在注意机制的突破之后，已经提出了新一代预磨模的模型，以便自变压器引入以来实现了良好的性能。来自变压器（BERT）的双向编码器表示已成为语言理解的最先进的模型。尽管取得了成功，但大多数可用的型号已经在印度欧洲语言中培训，但是对代表性的语言和方言的类似研究仍然稀疏。在本文中，我们调查了培训基于单语言变换器的语言模型的可行性，以获得代表语言的特定重点是突尼斯方言。我们评估了我们的语言模型对情感分析任务，方言识别任务和阅读理解问答任务。我们表明使用嘈杂的Web爬网数据而不是结构化数据（维基百科，文章等）更方便这些非标准化语言。此外，结果表明，相对小的Web爬网数据集导致与使用较大数据集获得的那些表现相同的性能。最后，我们在所有三个下游任务中达到或改善了最先进的Tunbert模型。我们释放出Tunbert净化模型和用于微调的数据集。
translated by 谷歌翻译
We present the first neural network model to achieve real-time and streaming target sound extraction. To accomplish this, we propose Waveformer, an encoder-decoder architecture with a stack of dilated causal convolution layers as the encoder, and a transformer decoder layer as the decoder. This hybrid architecture uses dilated causal convolutions for processing large receptive fields in a computationally efficient manner, while also benefiting from the performance transformer-based architectures provide. Our evaluations show as much as 2.2-3.3 dB improvement in SI-SNRi compared to the prior models for this task while having a 1.2-4x smaller model size and a 1.5-2x lower runtime. Open-source code and datasets: https://github.com/vb000/Waveformer
translated by 谷歌翻译
我们介绍并讨论了一个运行时体系结构，该架构将感官数据和分类器与基于逻辑的决策系统集成在一起，并在电子健康系统的背景下，用于康复神经运动障碍儿童。在此应用程序中，儿童以游戏的形式执行康复任务。该系统的主要目的是从可用的传感器和分类器（例如，眼镜跟踪器，运动传感器，情感识别技术）中得出一组儿童当前的认知和行为表现（例如参与，注意力，任务准确性）的参数。 ）并做出相应的决定。这些决策通常旨在通过在注意力较低时触发适当的重新参与刺激，改变游戏或使孩子对任务失去兴趣时的困难来改善孩子的表现，因为它太容易了。除了对情绪识别和头部姿势估计的最新技术外，我们还使用了事件计算的概率和认知逻辑编程方言的运行时变体，称为认识论概率概率事件。特别是，该符号框架的概率组成部分允许与机器学习技术的自然接口。我们概述了体系结构及其组件，并通过讨论运行的示例和实验来展示其一些特征。正在考虑逻辑编程理论和实践（TPLP）的出版物。
translated by 谷歌翻译
尽管在许多控制任务中进行了大量的应用和深入的强化学习的成功，但它仍然存在许多关键问题和局限性，包括具有稀疏奖励的时间信用分配，缺乏有效的探索以及对对超级参数的脆弱融合，这对超级参与者非常敏感问题。持续控制中深厚的强化学习的问题以及进化算法在面对其中一些问题方面的成功，已经出现了进化增强学习的想法，这引起了许多争议。尽管在该领域的一些研究中取得了成功的结果，但针对这些问题及其局限性的适当解决方案尚待提出。本研究旨在研究进一步加强强化学习和进化计算的两个领域的效率，并朝着改善方法和现有挑战迈出一步。 “使用精英缓冲液的进化深度强化学习”算法通过互动学习能力和人脑中的假设结果的灵感引入了一种新的机制。在这种方法中，精英缓冲液的利用（这是受到人类思想的经验概括的启发），以及跨界和突变操作员的存在，以及连续一代的交互式学习，具有提高的效率，收敛性和收敛性，收敛性和在连续控制领域的正确进步。根据实验的结果，所提出的方法超过了具有高复杂性和维度的环境中的其他知名方法，并且在解决上述问题和局限性方面表现出色。
translated by 谷歌翻译
联邦学习（FL）已成为解决消费者隐私需求的有效方法。 FL已成功应用于某些机器学习任务，例如训练智能键盘模型和关键字发现。尽管FL最初取得了成功，但许多重要的深度学习用例（例如排名和推荐任务）受到了设备学习的限制。实际采用基于DL的排名和建议所面临的主要挑战之一是现代移动系统无法满足的高度资源要求。我们建议联合合奏学习（FEL）作为解决深度学习排名和推荐任务的庞大记忆要求的解决方案。 FEL通过同时在客户端设备的分离群中训练多个模型版本，从而实现大规模排名和建议模型培训。 FEL通过拱门层将受过训练的子模型集成到服务器上托管的集合模型中。我们的实验表明，与传统的联合学习设备相比，FEL导致0.43-2.31％的模型质量改进 - 对排名和建议系统用例的重大改进。
translated by 谷歌翻译
背景和客观的高医学多样性一直是处方的重大挑战，在医师的决策过程中引起混乱或怀疑。本文旨在通过提供有关其他医生开处方的药物的信息，并弄清楚除所讨论的一种药物外还推荐了哪些其他药物，以开发一种称为推荐的药物推荐系统，以帮助医生进行高血压处方。方法有两个步骤开发的方法：首先，采用了协会规则挖掘算法来查找医学协会规则。第二步需要图形挖掘和聚类，以通过ATC代码提供丰富的建议，该建议本身包括多个步骤。首先，初始图是根据历史处方数据构建的。然后，在第二步中进行数据修剪，此后，由普通医生酌情裁定具有高重复率的药物。接下来，将药物与称为ATC代码的著名医学分类系统相匹配，以提供丰富的建议。最后，DBSCAN和Louvain算法在最后一步中群集药物。结果作为系统的输出，提供了推荐药物的清单，医生可以根据患者的临床症状选择一种或多种药物。仅使用与高血压药物有关的2级药物用于评估系统的性能。从该系统获得的结果已由该领域的专家进行了审查和确认。
translated by 谷歌翻译
本文介绍了一种“混合自我注意整洁”方法，以改善高维输入中增强拓扑（整洁）算法的原始神经发展。虽然整洁的算法显示出在不同具有挑战性的任务中的显着结果，但由于输入表示是高维度，但它无法创建一个良好的调谐网络。我们的研究通过使用自我关注作为间接编码方法来解决此限制，以选择输入的最重要部分。此外，我们在混合方法的帮助下提高了整体性能，以发展最终网络权重。主要结论是混合自我关注整洁可以消除原始整洁的限制。结果表明，与进化算法相比，我们的模型可以在ATARI游戏中获得与原始像素输入的可比分数，其中参数数量较少。
translated by 谷歌翻译
交叉设备联合学习（FL）是一种分布式学习范例，具有几种挑战，这些挑战将其区分离为传统的分布式学习，每个设备上的系统特征的可变性，以及数百万客户端与主要服务器协调。文献中描述的大多数FL系统是同步的 - 它们从各个客户端执行模型更新的同步聚合。缩放同步FL是挑战，因为增加了并行培训的客户数量导致训练速度的回报递减，类似于大批培训。而且，陷阱妨碍了同步流动训练。在这项工作中，我们概述了一种生产异步流行系统设计。我们的工作解决了上述问题，一些系统设计挑战及其解决方案的草图，并触及了为数百万客户建立生产流系统的原则。凭经验，我们证明异步流量在跨越近一亿台设备时比同步液更快地收敛。特别地，在高并发设置中，异步FL速度快5倍，并且具有比同步FL更小的通信开销差距。
translated by 谷歌翻译
基于全面的生物识别是一个广泛的研究区域。然而，仅使用部分可见的面，例如在遮盖的人的情况下，是一个具有挑战性的任务。在这项工作中使用深卷积神经网络（CNN）来提取来自遮盖者面部图像的特征。我们发现，第六和第七完全连接的层，FC6和FC7分别在VGG19网络的结构中提供了鲁棒特征，其中这两层包含4096个功能。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力，不仅要识别人，还要对眼睛微笑等性别，年龄和面部表达的认可。我们的实验结果表明，我们为所有任务获得了高精度。最佳记录的准确度值高达99.95％，用于识别人员，99.9％，年龄识别的99.9％，面部表情（眼睛微笑）认可为80.9％。
translated by 谷歌翻译
我们介绍了一个免费的开源的Pytorch库，用于培训具有差异隐私的深度学习模型（在Https://opacus.ai托管）。遮光罩是为了简单，灵活性和速度而设计的。它提供了一个简单和用户友好的API，并使机器学习从业者能够通过向其代码添加两条线来制作培训管道私有。它支持各种各样的层，包括多主题注意，卷积，LSTM和嵌入框，它还提供了支持其他用户定义的图层的手段。遮光罩计算的每个样本梯度批量，与传统的“微批量”方法相比，提供更好的效率。在本文中，我们介绍了opacus，详细介绍了推动其实现和独特功能的原则，并将其对ML中差别隐私的其他框架进行比较。
translated by 谷歌翻译